Heterogeneous Co-Evolution Learning for Tool-Efficient Search Agents with Zero Labels
异构协同进化训练工具高效搜索智能体的零标注框架
🧭 搜索 Agent 零标注协同进化训练 ★ 深度解读
Nanjing University of Aeronautics and Astronautics · Didichuxing Co. Ltd
零标注下用异构 proposer–solver 协同进化同时优化搜索智能体准确率与工具调用效率
📌 工作参考价值（4 点）
- 用海量无标注 query 日志替代人工 QA：从用户 query 出发，先让 proposer 生成实体答案，再用检索构造证据路径并做程序化校验；电商搜索/推荐 Agent 可直接复用会话 query 和商品知识库生成训练任务，省去标注成本。
- proposer 与 solver 解耦且可异构：3B/4B 小模型就能给 7B/8B solver 出题，任务生成成本与求解器规模解耦，跨模型族还能带来互补先验；线上可用便宜模型持续产出课程任务。
- 中间难度奖励 4*Acc*(1-Acc) 自动筛选约 50% 通过率的前沿任务，避免全对/全错无效信号；业务 RL 任务生成或课程学习可直接复用，奖励任务生成器追求 mixed group。
- 工具调用效率奖励：对同一任务的 K 条轨迹，把 search call 次数按组内最大值归一化后乘 correctness，只让答对且调用少的轨迹拿高分；商品搜索/Agent 里的 API/检索调用可用 task-local 惩罚控制成本且不明显掉点。